영상 문법과
영상 데이터
영상은 이미지의 연속이고, 이미지는 숫자임.
그 두 문장 사이를 잇는 것이 오늘 하는 일.
오늘 코드에 나오는 말
어제 쓰던 말에 넷이 더해짐. 코드를 읽다 막히는 자리가 대개 여기임.
어제와 오늘의 차이는 여기 하나. 어제는 «화면을 받아 뜯는 일»이었고, 오늘은 «창구에 물어보는 일»임. 뜯을 것이 없으니 선택자도 필요 없음.
영상 파일을 이루는 말
영상 파일을 다루는 코드에서 나오는 말. 넷이면 충분함.
영상의 기본 원리
영상 구성의 단위
영상은 통째로 하나가 아니라 작은 단위가 쌓여 만들어진 것. 가장 작은 단위부터 올라가면 네 층이 나옴.
편집자는 서로 다른 컷을 이어 붙여 이야기를 완성함. 오늘 다루는 층은 그 아래, 프레임임.
프레임에서 시퀀스까지
같은 층위를 두 가지로 그린 것. 왼쪽은 포함 관계, 오른쪽은 그것을 시간축으로 편 모습.
이미지는 숫자다
이미지는 작은 사각형(화소)의 격자이고, 화소마다 색이 숫자로 적혀 있음. 컴퓨터가 이미지를 «본다»는 것은 이 숫자 표를 읽는 일임.
화소 수를 바꾸면 — 같은 그림, 다른 해상도
화소가 적으면 계단처럼 보임. 뒤에서 이미지를 숫자 줄로 바꿀 때 «몇 화소짜리로 맞출지»를 정하는데, 그것이 이 이야기임.
카메라 앵글 — 어디서 보는가
같은 인물을 찍어도 카메라가 놓인 높이에 따라 다른 인상이 만들어짐. 네 가지 이름을 알아 두면 충분함.
숏 크기 — 얼마나 가까이
카메라가 대상에서 얼마나 떨어져 있는지. 가까울수록 표정이, 멀수록 상황이 보임.
영상 분석 예시
연구 대상의 수집과 선정
무엇을 얼마나 모았는지를 먼저 적음. 이것이 없으면 뒤의 숫자를 읽을 수 없음.
- «K-POP MV»를 키워드로 유튜브에서 검색된 총 579개의 영상 중에서(2024년 8월 22일 0시 30분 기준), 뮤직비디오와 관련 없는 영상을 제외한 총 527개의 영상을 최종 분석 대상으로 선정
- 여기서 대상으로 삼은 것은 한국 대중음악 장르 전반을 망라하는 뮤직비디오 일반이 아니라, 유튜브를 통해 국내외로 유통되는 K-POP 뮤직비디오임
- 전수 조사가 아니라 의미 있는 분석을 수행할 수 있는 정도의 자료를 모으는 것이 목적
«어떻게 골랐는가»가 곧 연구의 범위임. 오늘 실습에서 검색어와 편수를 정하는 자리가 바로 이 단계에 해당함.
I-frame 추출
영상 527편을 그대로 볼 수는 없음. 이미지로 바꾸어 놓는 것이 첫 손질임.
- 총 527개의 K-POP 뮤직비디오에서 파이썬 코드를 활용하여 총 85,544개의 I-frame을 추출
- I-frame은 영상에서 장면 전환이나 큰 화면 변화 시 새로운 이미지 데이터를 저장하는 핵심 프레임으로(백지연·윤호영, 2021), 일정 수준 이상의 화면 변화가 있음을 나타냄
- 모든 프레임을 뽑으면 같은 장면이 수십 장씩 겹침. I-frame만 뽑으면 «장면이 바뀐 자리»만 남음
이미지를 숫자 줄로 바꾸기
이미지를 512개의 숫자로 바꿈. 그래야 «비슷하다»를 계산할 수 있음.
- ViT-B/32 CLIP 모델을 사용해서 각각의 영상 이미지를 512차원 벡터로 변환
- ViT-B/32는 Transformer 구조를 사용하여 이미지를 32×32 패치로 나누고, 이를 종합하여 고차원 벡터로 변환하는 역할을 수행할 수 있어서 대규모 이미지 데이터 처리에 적합한 CLIP 모델
- 패치로 나눈 뒤 임베딩 · 멀티 헤드 셀프어텐션 · 층 정규화 · 잔차 연결 등 Vision Transformer 아키텍처의 과정을 거쳐 가중치를 연산하며, 최종적으로 다층퍼셉트론(MLP)을 통해 이미지 분류를 수행함
«512차원»이 무슨 뜻인가 — 자가 512개 있는 셈
사람을 숫자로 적는다고 하면 키와 몸무게 둘로 적을 수 있음. 그러면 사람 하나가 «숫자 두 개»가 되고, 이것을 2차원이라 부름. 이미지를 512개의 숫자로 적으면 512차원임.
자를 사람이 정하지 않음
«밝기»·«얼굴 크기» 같은 자를 사람이 고르는 것이 아님. 수많은 이미지를 미리 본 모델이 스스로 만들어 둔 자를 씀
가까우면 비슷한 것
두 이미지의 숫자 줄이 가까우면 비슷한 이미지임. «비슷하다»가 그제야 계산할 수 있는 말이 됨
사람은 못 읽음
512개 숫자를 눈으로 읽어 뜻을 알 수는 없음. 서로 비교할 때만 쓸모가 있음
여기가 오늘 강의의 갈림길임. 이미지를 숫자로 바꾸기 전에는 «비슷한 영상 찾기»가 사람 눈의 일이었고, 바꾼 뒤에는 계산의 일이 됨.
이미지 벡터 클러스터링 과정
앞의 두 단계를 포함한 전체 흐름. 오늘 실습에서 하는 것은 앞의 두 칸임.
오늘 코드로 하는 것은 앞의 두 칸 — «수집»과 «I-frame 추출»까지. 그 뒤는 같은 자료를 놓고 무엇을 물을지의 문제임.
이미지 유형이 갈린 결과
85,544개의 이미지를 비슷한 것끼리 묶었더니 13가지 유형으로 갈림.
- 각 클러스터는 숏 크기, 출연진 성별, 사물 표현 여부, 동작 지시 여부, 그리고 인물 중심 이미지인지 배경 중심 이미지인지에 따라 명명됨
- 이름에 쓰인 말이 앞에서 본 숏 크기·앵글 그대로임 — 클로즈업 · 버스트 숏 · 풀 숏 · 롱 풀 숏
«묶는다»는 것은 무슨 일인가
답을 미리 주지 않음
«이건 클로즈업, 저건 롱 숏»이라고 가르쳐 주지 않음. 숫자 줄이 가까운 것끼리 모으라고만 시킴
몇 덩어리로 나눌지는 사람이 정함
기계가 «13개»를 알아서 고르는 것이 아님. 여러 수로 나눠 본 뒤 사람이 읽어 낼 수 있는 수를 고름
이름은 사람이 붙임
묶인 덩어리를 열어 보고 «여성 가창과 표정»이라고 이름을 붙이는 것은 사람임. 기계는 «0번 덩어리»라고만 부름
그래서 결과를 그대로 믿으면 안 됨. 묶는 것은 기계가 하고 읽는 것은 사람이 함. 앞 쪽에서 배운 «숏 크기·앵글»이 여기서 읽어 내는 말이 됨.
이미지 유형 13가지
묶인 결과를 사람이 눈으로 확인하고 이름을 붙인 것. 기계가 이름을 지어 주지는 않음.
유형의 이름을 다시 보면 — 클로즈업 · 버스트 · 풀 숏 · 롱 풀 숏. 07절에서 본 숏 크기가 그대로 분석의 언어가 됨.
얼마나 쏠려 있는가 — HHI
유형이 13가지로 갈렸어도, 한 편 안에서 몇 가지가 주로 쓰이는지는 또 다른 물음임.
HHI는 원래 «시장이 한쪽으로 쏠렸는가»를 재는 자임
공정거래에서 «몇몇 회사가 시장을 다 가졌는가»를 잴 때 쓰던 지수임. 여기서는 회사 대신 이미지 유형을 넣음 — 한 영상이 몇 가지 유형을 고루 쓰는가, 한두 가지에 몰리는가.
- K-POP 뮤직비디오의 HHI 지수 평균은 2,678, 최대값은 9,537.72, 최소값은 939.74로 나타나, 이미지 유형의 다양성이 낮고 특정 유형에 집중되어 있음을 시사. 대부분의 뮤직비디오가 HHI 지수 1,800 이상을 기록
- 시각적 이미지 구성이 특정 유형에 집중되어 있으며, 아티스트 외모 묘사와 군무에 대한 이미지로 집중도가 더욱 증가하였음. 이는 소수 제작사가 시장을 지배할 경우 다양성이 저하될 수 있고(Litman, 1979; Rothenbuhler & Dimmick, 1982), 경쟁이 오히려 콘텐츠의 다양성을 제한하는 요인으로 작용할 수 있음을 시사(Van der Wurff & Cuilenburg, 2001)
전체 뮤직비디오의 대표 이미지 패턴
유형이 어떤 순서로 이어지는지까지 보면, 뮤직비디오의 «짜임»이 드러남.
- 그룹화된 전체 뮤직비디오에서 각 그룹별 대표 패턴을 도출함. 대표 패턴은 그룹 내 각 뮤직비디오의 이미지 등장 순서 중에서 가장 자주 반복되는 이미지 순서를 의미하며, 4개의 그룹별로 각각 가장 많이 반복된 패턴이 선정
여기까지가 «수집 다음»의 이야기임. 오늘 코드로 얻는 것은 이 그림의 맨 앞 두 칸이고, 그 뒤는 물음에 따라 갈림.
Q & A
dalvitt@khu.ac.kr